同行分级系统汇总了来自多个学生的嘈杂报告，以尽可能接近真实的成绩。大多数当前系统要么采用报告等级的平均值或中位数。其他人则旨在估计学生在概率模型下的评分准确性。本文以三种关键的方式以后一种方法扩展了最新技术的状态：（1）认识到学生可以战略行为（例如，在不做工作的情况下，报告成绩接近班级平均水平）； （2）适当处理由离散值分级标准产生的审查数据； （3）使用混合整数编程来提高分配给学生的成绩的解释性。我们展示了如何在此模型中使贝叶斯推论实用，并通过在四个大型类中使用我们实现的系统来评估我们对合成和现实数据的方法。这些广泛的实验表明，使用我们的模型准确估计的成绩汇总会估计真正的成绩，学生提交不信息等级的可能性以及其固有的分级错误的变化；我们还表征了模型的鲁棒性。
translated by 谷歌翻译
CS中的主要出版物场所进行的同行评审会议务必依赖每篇论文的高素质审阅者。由于这些会议的规模越来越大，它们的工作时间表以及最近明显不诚实的行为激增，现在没有其他选择以自动化的方式进行这种匹配。本文研究了一种新颖的审阅者纸匹配方法，该方法最近在第35届AAAI人工智能会议（AAAI 2021）中部署，此后已被包括ICML 2022，AAAAI 2022和IJCAI 2022的其他会议（全部或部分）采用（完全或部分） 。该方法具有三个主要元素：（1）收集和处理输入数据以识别有问题的匹配并生成审阅者纸得分； （2）制定和解决优化问题，以找到良好的审阅者纸匹配； （3）两阶段的审查过程，将审查资源从可能被拒绝的论文转移到更接近决策界的文件。本文还根据对真实数据的大量事后分析进行了对这些创新的评估，包括与AAAI先前（2020年）迭代中使用的匹配算法进行比较 - 并通过其他数值实验对此进行了补充。
translated by 谷歌翻译